Ông tên thật là Trần Văn Lai, sinh năm 1920 trong một gia đình nghèo tại Kiến Xương, Thái Bình.[1] Năm 16 tuổi, ông theo đoàn mộ phu vào Nam Kỳ cạo mủ cao su cho đồn điền Pháp ở Dầu Tiếng, Thủ Dầu Một (nay là tỉnh Bình Dương).[2]

Năm 22 tuổi, ông bắt đầu tham gia hoạt động bí mật cho phong trào Việt Minh chống Pháp.[1] Khi Cách mạng tháng 8 thành công, ông tham gia vào đội tự vệ bảo vệ chính quyền cách mạng. Khi quân Pháp nổ súng tái chiếm Nam Bộ, ông chiến đấu trong các đội quyết tử, đồng thời làm công tác vận động tài chính cho chính quyền Việt Minh, tham gia hoạt động phá hoại cơ sở hậu cứ của quân Pháp trong các vùng bị quân Pháp kiểm soát.[2] Ông được kết nạp vào Đảng Cộng sản Đông Dương năm 1948.[1] Năm 1949, ông được phiên chế thuộc Tiểu đoàn Quyết tử 950 Đặc khu Sài gòn - Chợ Lớn.[3][4]